Can you just snap?能不能直接拍照就可以了?
裝置能不能直接看圖就知道我在幹嘛?比如我拍一張照,或者截個屏,它就能立刻理解我要處理的內容。像這樣簡單一拍,系統就能幫忙繼續工作,真的省心!就像 iPad 上覆制了一個數字,它自動彈出計算器一樣,全程不用我動手操作,效率提升超明顯!

Photomath 是一款基於影象識別的數學解題應用,透過拍攝數學題的方式即可啟動 AI 自動解題流程。該產品充分體現了“Can I/you just snap?”這一多模態輸入理念:使用者不需手動輸入公式,只需“拍一下”,系統便可識別內容、解析步驟並輸出視覺化的求解過程。結合攝像頭、OCR(光學字元識別)與符號計算引擎,Photomath 將複雜任務簡化為影象互動入口,極大提升了學習與解題效率。
Loading state
當使用者將數學題置於取景框中並拍攝後,系統進入識別載入狀態,呈現出掃描進度與框選定位的反饋介面。(該過程增強了使用者對識別準確性的信心,並可透過邊緣調整進一步最佳化影象質量,從而提高識別結果的準確度。)
Main AI-UX interaction
主互動方式是透過相機介面對準紙面上的數學問題進行拍攝。介面中包含中央高亮取景框、紅色拍照按鈕以及底部工具欄圖示,如計算器和歷史記錄。(該設計最大化了任務聚焦性,引導使用者快速完成拍攝動作,同時也保留了常用工具的一鍵訪問。)
Example output
拍照後系統即時生成解題結果,顯示“Evaluate the integral”等解析步驟,並提供解法編輯與展開檢視功能。(系統採用了結構化的步驟式展示方式,從題幹到過程逐步呈現,降低理解門檻,同時提供互動式控制元件支援進一步探索或修正。)
Helpful hints
在初次使用或取景框未對準目標時,系統會給出操作提示,如“Take a picture of a math problem”,幫助使用者明確預期操作路徑。(這類提示降低了首次使用門檻,體現出系統的任務指導能力。)
User feedback
使用者可對系統提供的解答內容進行反饋,例如透過“thumbs up/down”表示滿意程度,支援解法最佳化與內容迭代。(該模組構建了使用者與 AI 的閉環反饋機制,是提升智慧服務質量的關鍵設計。)
Hacking together AI & Siri (Bonus)
系統還展示瞭如何將 Siri 與 ChatGPT Vision 聯動,透過快捷指令實現“拍照識別+自動講解”的複合操作。例如使用者可設定雙擊手機背面觸發拍照,並由 OpenAI 模型解釋畫面內容。(該技巧展示了 iOS 系統中多應用組合下的使用者自主增強路徑,提升了裝置的個性化智慧水平。)

Calculator for iPad是一項概念性設計,圍繞“Can I/you just write?” 這一多模態輸入模式構建,旨在讓使用者透過手寫自然輸入數學表示式,系統則以相同手寫風格自動補全計算結果。它融合了筆跡識別、數字墨水渲染與實時計算等技術,賦予 iPad 計算器類應用更具沉浸感與人性化的互動體驗,特別適合教育、草稿演算及創意表達等場景。
Entry touch point
使用者可透過手寫輸入等號(=)或點選頁面工具欄啟用計算功能,進入手寫識別與計算模式。(這一入口方式設計為順應手寫習慣,不打斷使用者書寫流,降低操作負擔。)
Loading state (intermediate step)
當使用者完成表示式書寫後,系統會識別筆跡並暫時高亮公式區域,同時開始後臺計算處理過程。(此階段透過視覺反饋提示使用者計算已被識別,幫助建立操作信任感。)
Quick explanation
該計算器應用不僅能捕捉使用者的手寫筆跡,還會用相同的筆跡樣式寫出答案,使輸出結果自然融入使用者原有書寫內容中。(這一技術整合了個性化數字墨水渲染引擎,增強互動的視覺一致性和沉浸感,是人機互動中的情境擬合體現。)
Main AI-UX interaction
使用者在 iPad 上以自由手寫方式輸入預算、公式或計算題,系統在後臺實時識別並處理,最終以手寫方式將結果呈現在頁面上。(這種互動模式打破了傳統“鍵入-計算-輸出”的流程,使整個計算行為融入寫作環境中,更符合自然認知流程。)
Example output
系統以使用者手寫風格呈現多個計算題目的解答結果,如三角函式值、括號運算和分數計算等,顯示出強大的表示式解析能力與視覺化一致性。(同時支援多個公式並行處理,是面向多工學習場景的重要支援。)